While witnessing the noisy intermediate-scale quantum (NISQ) era and beyond, quantum federated learning (QFL) has recently become an emerging field of study. In QFL, each quantum computer or device locally trains its quantum neural network (QNN) with trainable gates, and communicates only these gate parameters over classical channels, without costly quantum communications. Towards enabling QFL under various channel conditions, in this article we develop a depth-controllable architecture of entangled slimmable quantum neural networks (eSQNNs), and propose an entangled slimmable QFL (eSQFL) that communicates the superposition-coded parameters of eS-QNNs. Compared to the existing depth-fixed QNNs, training the depth-controllable eSQNN architecture is more challenging due to high entanglement entropy and inter-depth interference, which are mitigated by introducing entanglement controlled universal (CU) gates and an inplace fidelity distillation (IPFD) regularizer penalizing inter-depth quantum state differences, respectively. Furthermore, we optimize the superposition coding power allocation by deriving and minimizing the convergence bound of eSQFL. In an image classification task, extensive simulations corroborate the effectiveness of eSQFL in terms of prediction accuracy, fidelity, and entropy compared to Vanilla QFL as well as under different channel conditions and various data distributions.
translated by 谷歌翻译
量子联合学习(QFL)最近受到了越来越多的关注,其中量子神经网络(QNN)集成到联邦学习(FL)中。与现有的静态QFL方法相反,我们在本文中提出了可靠的QFL(SLIMQFL),这是一个动态QFL框架,可以应对时变的通信通道和计算能量限制。通过利用QNN的独特性质,可以分别训练并动态利用其角度参数,从而使其可行。模拟结果证实了SLIMQFL比香草QFL更高的分类精度,尤其是在较差的通道条件下。
translated by 谷歌翻译
具有提高可传递性的对抗性攻击 - 在已知模型上精心制作的对抗性示例的能力也欺骗了未知模型 - 由于其实用性,最近受到了很多关注。然而,现有的可转移攻击以确定性的方式制作扰动,并且常常无法完全探索损失表面,从而陷入了贫穷的当地最佳最佳效果,并且遭受了低传递性的折磨。为了解决这个问题,我们提出了细心多样性攻击(ADA),该攻击以随机方式破坏了不同的显着特征以提高可转移性。首先,我们将图像注意力扰动到破坏不同模型共享的通用特征。然后,为了有效避免局部优势差,我们以随机方式破坏了这些功能,并更加详尽地探索可转移扰动的搜索空间。更具体地说,我们使用发电机来产生对抗性扰动,每个扰动都根据输入潜在代码而以不同的方式打扰。广泛的实验评估证明了我们方法的有效性,优于最先进方法的可转移性。代码可在https://github.com/wkim97/ada上找到。
translated by 谷歌翻译
已知视觉问题答案(VQA)的任务受到VQA模型的问题的困扰,从而利用数据集中的偏见来做出最终预测。已经提出了许多先前基于合奏的偏数方法,其中有目的地训练了一个额外的模型以帮助训练强大的目标模型。但是,这些方法从训练数据的标签统计数据或直接从单局分支中计算出模型的偏差。相反,在这项工作中,为了更好地了解目标VQA模型的偏见,我们提出了一种生成方法来训练偏差模型\ emph {直接来自目标模型},称为GenB。特别是,GENB采用生成网络来通过对抗目标和知识蒸馏的结合来学习偏见。然后,我们将目标模型以GENB作为偏置模型为单位,并通过广泛的实验显示了我们方法对包括VQA CP2,VQA-CP1,VQA-CP1,GQA-OOD和VQA-CE在内的各种VQA偏置数据集的影响。
translated by 谷歌翻译
尽管电子保健记录(EHR)丰富,但其异质性限制了医疗数据在构建预测模型中的利用。为了应对这一挑战,我们提出了通用医疗预测框架(UNIHPF),该框架不需要医疗领域知识和对多个预测任务的最小预处理。实验结果表明,UNIHPF能够构建可以从不同EHR系统处理任何形式的医疗数据的大规模EHR模型。我们的框架在多源学习任务(包括转移和汇总学习)中大大优于基线模型,同时在单个医疗数据集中接受培训时也会显示出可比的结果。为了凭经验证明我们工作的功效,我们使用各种数据集,模型结构和任务进行了广泛的实验。我们认为,我们的发现可以为对EHR的多源学习提供进一步研究提供有益的见解。
translated by 谷歌翻译
组合优化的神经方法(CO)配备了一种学习机制,以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法,但最先进的方法通常无法充分利用他们可用的解决时间。相比之下,手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间,但包含启发式方法,这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序,我们提出了模拟引导的光束搜索(SGB),该搜索(SGB)在固定宽度的树搜索中检查了候选解决方案,既是神经网络学习的政策又是模拟(推出)确定有希望的。我们将SGB与有效的主动搜索(EAS)进一步融合,其中SGB提高了EAS中反向传播的解决方案的质量,EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法,并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。
translated by 谷歌翻译
归纳转移学习旨在通过利用源任务中的预训练模型来从少量培训数据中学习目标任务。大多数涉及大规模深度学习模型的策略采用预先培训的模型和进行目标任务进行初始化。但是,当使用过度参数化模型时,我们通常可以在不牺牲源任务的准确性的情况下修剪模型。这促使我们采用模型修剪来通过深度学习模型进行转移学习。在本文中,我们提出了PAC-NET,这是一种简单而有效的方法,用于基于修剪的转移学习。 PAC-NET由三个步骤组成:修剪,分配和校准(PAC)。这些步骤背后的主要思想是确定源任务的基本权重,通过更新基本权重来微调源任务,然后通过更新剩余的冗余权重来校准目标任务。在各种广泛的感应转移学习实验集中,我们表明我们的方法通过很大的边距实现了最先进的性能。
translated by 谷歌翻译
弱监督的多标签分类(WSML)任务是使用每个图像的部分观察标签学习多标签分类,由于其巨大的注释成本,它变得越来越重要。在这项工作中,我们首先将未观察到的标签视为负标签,将WSML任务投入到嘈杂的多标签分类中。从这个角度来看,我们从经验上观察到,在多标签环境中也出现了在嘈杂的多级环境中最初发现的记忆效应。也就是说,该模型首先了解清洁标签的表示,然后开始记住嘈杂的标签。基于这一发现,我们提出了WSML的新方法,该方法拒绝或纠正大型损失样品,以防止模型记住嘈杂的标签。如果没有沉重且复杂的组件,我们提出的方法在几种部分标签设置上的先前最先前的WSML方法(包括Pascal VOC 2012,Coco,MS Coco,Nuswide,Cub,Cub和OpenImimages V3数据集)都优于先前的最先前的WSML方法。各种分析还表明,我们的方法实际上效果很好,证实了在弱监督的多标签分类中正确处理大损失的问题。我们的代码可从https://github.com/snucml/largelossmatters获得。
translated by 谷歌翻译
尽管仅使用图像级标签(WSSS-IL)仅使用图像级标签(WSSS-IL)弱监督的语义分割可能有用,但其低性能和实现复杂性仍然限制了其应用。主要原因是(a)非检测和(b)假检测现象:(a)从现有的WSSS-IL方法中完善的类激活图仍然仅表示大规模对象的部分区域,以及(b) - 规模对象,过度激活使它们偏离对象边缘。我们提出了反复进行的,该反复环境通过递归迭代交替减少非和错误的检测,从而隐含地找到了最大程度地减少这两个错误的最佳连接。我们还提出了一种称为EdgePredictMix的新型数据增强方法(DA)方法,该方法通过利用相邻像素之间的概率差异信息在结合分割结果时进一步表达了对象的边缘,从而在将现有的DA方法应用于WSS时,从而弥补了缺点。我们在Pascal VOC 2012和MS Coco 2014基准(VOC Val 74.4%,可可Val 46.4%)上实现了最先进的表演。该代码可从https://github.com/ofrin/recurseed_and_edgepredictmix获得。
translated by 谷歌翻译
域适应(DA)最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割,但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外,这些数据集主要解决了单级问题。为了解决这些限制,与第24届医学图像计算和计算机辅助干预(Miccai 2021)结合第24届国际会议组织交叉模态域适应(Crossmoda)挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤(VS)的后续和治疗规划的两个关键脑结构:VS和Cochleas。目前,使用对比度增强的T1(CET1)MRI进行VS患者的诊断和监测。然而,使用诸如高分辨率T2(HRT2)MRI的非对比度序列越来越感兴趣。因此,我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1(n = 105)和未配对的非注释的HRT2(n = 105)。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割(n = 137)。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高(最佳中位数骰子 - vs:88.4%; Cochleas:85.7%)并接近完全监督(中位数骰子 - vs:92.5%;耳蜗:87.7%)。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。
translated by 谷歌翻译